Pose-NDF: Modeling Human Pose Manifolds with Neural Distance Fields

分享人：游盈萱
研究方向：三维人体重建
论文题目：Pose-NDF: Modeling Human Pose Manifolds with Neural Distance Fields
论文作者：Garvita Tiwari, Dimitrije Antic, Jan Eric Lenssen, Nikolaos Sarafianos, Tony Tung, Gerard Pons-Mol
作者单位：蒂宾根大学、马克斯普朗克研究所、Meta现实实验室
论文摘要：我们提出了一种基于神经距离场 (NDF) 的合理人体位姿的连续模型Pose-NDF。位姿或运动先验对于生成逼真的新位姿以及从嘈杂或部分观察中重建准确位姿很重要。Pose-NDF学习多种似然位姿作为神经隐式函数的零水平集，将3D隐式表面建模的思想扩展到高维域SO(3)^K，其中人体位姿由单个数据点，由K个四元数表示。生成的高维隐式函数可以针对输入位姿进行微分，因此可以通过在三维超球体集上使用梯度下降将任意位姿投影到流形上。与之前将位姿空间转换为高斯分布的基于VAE的人体位姿先验相比，我们对实际位姿流形进行建模，保留位姿之间的距离。我们证明PoseNDF在各种下游任务中优于现有的最优方法，从去噪真实世界的人类动作捕捉数据，从遮挡数据恢复位姿到从图像重建3D位姿。 此外，我们表明，与基于VAE的方法相比，它可用于通过随机采样和投影生成更多不同的位姿。
原文链接：

点击此处